พระองค์ทรงอภิเษกสมรสครั้งแรกกับดัชเชสมาเกอเรต้าแห่งซัคเซิน พระราชธิดาในพระเจ้าโยฮันที่ 1 แห่งซัคเซิน และเจ้าหญิงอมาลี่ ออกัสเต้แห่งบาวาเรีย เมื่อวันที่ 4 พฤศจิกายน พ.ศ. 2439 ทั้งสองพระองค์ทรงไม่มีพระโอรสหรือพระธิดาเลย เพราะดัชเชสมาเกอริต้าทรงสิ้นพระชนม์กะทันหันเมื่อวันที่ 15 กันยายน พ.ศ. 2441

ต่อมาทรงอภิเษกสมรสครั้งที่ 2 กับเจ้าหญิงมารีอา แอนนันซิเอต้าแห่งทู ซิชิลีส์ พระราชธิดาในพระเจ้าแฟร์ดีนันท์ที่ 2 แห่งทู ซิชิลีส์ และอาร์ชดัชเชสมารีอา เทเรซ่าแห่งออสเตรีย เมื่อวันที่ 21 ตุลาคม พ.ศ. 2405 มีพระโอรส 3 พระองค์ และพระธิดา 1 พระองค์ ดังนี้...

• อาร์ชดยุกฟรันทซ์ แฟร์ดีนันท์ คาร์ล ลูทวิช โยเซ็ฟ แห่งออสเตรีย-เอ็สเทอ ประสูติเมื่อวันที่ 18 ธันวาคม พ.ศ. 2406 สิ้นพระชนม์เนื่องจากถูกลอบปลงพระชนม์เมื่อวันที่ 28 มิถุนายน พ.ศ. 2457 ทรงอภิเษกสมรสกับ เค้านท์เตสโซฟี โชเท็ค มีพระโอรสและพระธิดารวม 3 พระองค์
• อาร์ชดยุกอ็อทโท ฟรันทซ์ โยเซ็ฟ คาร์ล ลูทวิช มารีอา แห่งออสเตรีย ประสูติเมื่อวันที่ 21 เมษายน พ.ศ. 2408 สิ้นพระชนม์เมื่อวันที่ 1 พฤศจิกายน พ.ศ. 2449 ทรงอภิเษกสมรสกับ เจ้าหญิงมารีอา โยเซ็ฟ่าแห่งซัคเซิน มีพระโอรสทั้งหมด 2 พระองค์
• อาร์ชดยุกแฟร์ดีนันท์ คาร์ล ลูทวิช โยเซ็ฟ โยฮัน มารีอา แห่งออสเตรีย ประสูติเมื่อวันที่ 27 ธันวาคม พ.ศ. 2411 สิ้นพระชนม์เมื่อวันที่ 10 มีนาคม พ.ศ. 2458 ทรงอภิเษกสมรสกับสาวสามัญชน แบร์ทา ซูเบอร์ ไม่มีพระโอรสหรือพระธิดาเลย
• อาร์ชดัชเชสมาร์กาเร็ต โซฟี มารี แอนนันซิเอต้า เธเรเซีย แคโรไลน์ หลุยส์ โยเซ็ฟิน โจฮันนา แห่งออสเตรีย ประสูติเมื่อวันที่ 13 พฤษภาคม พ.ศ. 2413 สิ้นพระชนม์เมื่อวันที่ 24 สิงหาคม พ.ศ. 2445 ทรงอภิเษกสมรสกับ ดยุคอัลเบรชท์แห่งวืร์มเต็มเบิร์ก มีพระโอรสและพระธิดารวม 6 พระองค์

ต่อมา เจ้าหญิงมารีอา แอนนันซิเอต้าทรงสิ้นพระชนม์กะทันหันเมื่อวันที่ 4 พฤษภาคม พ.ศ. 2414พระองค์จึงทรงอภิเษกสมรสเป็นครั้งที่ 3 กับเจ้าหญิงมารีอา เทเรซ่าแห่งโปรตุเกส พระราชธิดาในพระเจ้ามิเกลที่ 1 แห่งโปรตุเกส และเจ้าหญิงอาเดลเลดแห่งโลเวนสไตน์-เวอร์เธ็ม-โรเซนเบิร์ก มีพระธิดา 2 พระองค์ ดังนี้...

• อาร์ชดัชเชสมารีอา แอนนันซิเอต้า อาเดลเลด เธเรเซีย มิคาเอลล่า แคโรไลน์ หลุยส์ ปิอา อิกเนเชีย แห่งออสเตรีย ประสูติเมื่อวันที่ 31 กรกฎาคม พ.ศ. 2419 สิ้นพระชนม์เมื่อวันที่ 8 เมษายน พ.ศ. 2504 ทรงไม่อภิเษกสมรส ทรงเป็นหัวหน้าแม่ชีในวิหารแห่งหนึ่งใน กรุงปราก
• อาร์ชดัชเชสเอลิซาเบธ อมาลี่ ยูเจเนีย มารีอา เธเรซี แคโรไลน์ หลุยส์ โยเซ็ฟ่า แห่งออสเตรีย ประสูติเมื่อวันที่ 7 กรกฎาคม พ.ศ. 2421 สิ้นพระชนม์เมื่อวันที่ 13 มีนาคม พ.ศ. 2503 ทรงอภิเษกสมรสกับเจ้าชายอาล็อยส์แห่งลิกเตนสไตน์ มีพระโอรสและพระธิดารวม 8 พระองค์

อาร์ชดยุกคาร์ล ลูทวิชทรงสิ้นพระชนม์เมื่อวันที่ 19 พฤษภาคม พ.ศ. 2439 ด้วยไข้ไทฟอยด์ สิริพระชันษาได้ 63 ชันษา พระศพถูกฝังไว้ที่วิหารฮาพส์บวร์ค กรุงเวียนนา